We present a high-fidelity 3D generative adversarial network (GAN) inversion framework that can synthesize photo-realistic novel views while preserving specific details of the input image. High-fidelity 3D GAN inversion is inherently challenging due to the geometry-texture trade-off in 3D inversion, where overfitting to a single view input image often damages the estimated geometry during the latent optimization. To solve this challenge, we propose a novel pipeline that builds on the pseudo-multi-view estimation with visibility analysis. We keep the original textures for the visible parts and utilize generative priors for the occluded parts. Extensive experiments show that our approach achieves advantageous reconstruction and novel view synthesis quality over state-of-the-art methods, even for images with out-of-distribution textures. The proposed pipeline also enables image attribute editing with the inverted latent code and 3D-aware texture modification. Our approach enables high-fidelity 3D rendering from a single image, which is promising for various applications of AI-generated 3D content.
translated by 谷歌翻译
尽管图形神经网络（GNNS）已成功地用于节点分类任务并在图中链接预测任务，但学习图级表示仍然是一个挑战。对于图级表示，重要的是要学习相邻节点的表示形式，即聚合和图形结构信息。为此目标开发了许多图形合并方法。但是，大多数现有的合并方法都使用K-HOP社区，而无需考虑图中的明确结构信息。在本文中，我们提出了使用先前的图形结构来克服限制的结构原型指导池（SPGP）。 SPGP将图形结构制定为可学习的原型向量，并计算节点和原型矢量之间的亲和力。这导致了一种新颖的节点评分方案，该方案在封装图形的有用结构的同时优先考虑信息性节点。我们的实验结果表明，SPGP的精度和可扩展性都优于图形分类基准数据集上的最先进的图形合并方法。
translated by 谷歌翻译
本文重新讨论了一个非常简单但非常有效的计算范式，深度共同学习（DML）。我们观察到，有效性与其出色的概括质量高度相关。在本文中，我们从新的角度来解释了DML的性能改善，即这大约是贝叶斯后的采样程序。这也为应用R \'{e} nyi Divergence改善原始DML的基础建立了基础，因为它带来了先验的差异控制（在DML的上下文中）。因此，我们提出了r \'{e} nyi Divergence深度共同学习（RDML）。我们的经验结果代表了DML和\ renyi {}差异的婚姻的优势。R \'{E} nyi Divergence施加的灵活控制能够进一步改进DML，以学习更好的广义模型。
translated by 谷歌翻译
深度强化学习在基于激光的碰撞避免有效的情况下取得了巨大的成功，因为激光器可以感觉到准确的深度信息而无需太多冗余数据，这可以在算法从模拟环境迁移到现实世界时保持算法的稳健性。但是，高成本激光设备不仅很难为大型机器人部署，而且还表现出对复杂障碍的鲁棒性，包括不规则的障碍，例如桌子，桌子，椅子和架子，以及复杂的地面和特殊材料。在本文中，我们提出了一个新型的基于单眼相机的复杂障碍避免框架。特别是，我们创新地将捕获的RGB图像转换为伪激光测量，以进行有效的深度强化学习。与在一定高度捕获的传统激光测量相比，仅包含距离附近障碍的一维距离信息，我们提议的伪激光测量融合了捕获的RGB图像的深度和语义信息，这使我们的方法有效地有效障碍。我们还设计了一个功能提取引导模块，以加重输入伪激光测量，并且代理对当前状态具有更合理的关注，这有利于提高障碍避免政策的准确性和效率。
translated by 谷歌翻译
强化学习的主要困难之一是从{\ em dobsolicy}样本中学习，这些样本是由算法评估（目标策略）的不同策略（行为策略）收集的。非政策学习需要从行为政策中纠正样本的分布到目标策略的分布。不幸的是，重要的抽样具有固有的高方差问题，从而导致策略梯度方法的梯度估计差。我们专注于范围的参与者 - 批评体系结构，并提出了一种称为预处理近端政策优化（P3O）的新方法，该方法可以通过将预处理程序应用于保守政策迭代（CPI）目标来控制重要性采样的较高差异。 {\ em此预处理以一种特殊的方式使用Sigmoid函数，即当没有策略更改时，梯度是最大的，因此策略梯度将驱动大参数更新以有效地探索参数空间}。这是一种新颖的探索方法，鉴于现有的探索方法是基于国家和行动的新颖性，尚未对其进行研究。我们与离散和连续任务上的几种表现最好的算法进行了比较，结果表明{\ em ppo不足以实现异位}，并且我们的p3O比ppo {\ em off-policy}比ppo比“根据off off ppo”。 - 通过Deon Metric衡量的Policyness，P3O在比PPO更大的政策空间中探索。结果还表明，在训练过程中，我们的P3O比PPO更好地提高了CPI目标。
translated by 谷歌翻译
最近，图形神经网络（GNN）已被广泛用于文档分类。但是，大多数现有方法都基于没有句子级信息的静态词共同发生图，它构成了三个挑战：（1）字歧义，（2）字同义词和（3）动态上下文依赖性。为解决这些挑战，我们提出了一种用于归纳文档分类的新型GNN的稀疏结构学习模型。具体地，文档级图最初由句子级字共有图的不相交联盟生成。我们的模型收集了一系列连接句子之间的脱节单词的可训练边，并采用结构学习稀疏地选择具有动态上下文依赖性的边缘。具有稀疏结构的图形可以通过GNN共同利用文档中的本地和全局上下文信息。对于归纳学习，精致的文档图进一步馈入以端到端的方式的图形级分类和优化的一般读出函数。在几个现实世界数据集上的广泛实验表明，所提出的模型优于最先进的结果，并揭示了学习每个文档的稀疏结构的必要性。
translated by 谷歌翻译
基于模型的强化学习方法在许多任务中实现了显着的样本效率，但它们的性能通常受模型错误的存在限制。为减少模型错误，以前的作品使用单一设计的网络来符合整个环境动态，将环境动态视为黑匣子。然而，这些方法缺乏考虑动态可能包含多个子动态的环境分解性，这可以单独建模，允许我们更准确地构建世界模型。在本文中，我们提出了环境动态分解（ED2），这是一种以分解方式模拟环境的新型世界模型施工框架。 ED2包含两个关键组件：子动力学发现（SD2）和动态分解预测（D2P）。 SD2发现环境中的子动力学，然后D2P构建子动力学后的分解世界模型。 ED2可以容易地与现有的MBRL算法和经验结果表明，ED2显着降低了模型误差，并提高了各种任务上最先进的MBRL算法的性能。
translated by 谷歌翻译
弱监督的突出物体检测（WSOD）仅使用低成本注释训练基于CNNS的显着性网络的目标。现有的WSOD方法采用各种技术来从低成本注释追求单一的“高质量”伪标签，然后开发其显着网络。虽然这些方法实现了良好的性能，但是所产生的单个标签不可避免地受到采用的细化算法的影响，并且显示了偏见的特征，这进一步影响了显着网络。在这项工作中，我们介绍了一个新的多伪标签框架，以从多个标签集成更全面和准确的显着性提示，避免上述问题。具体地，我们提出了一种多滤波器指令网络（MFNET），包括显着网络以及多个指令滤波器。指令过滤器（DF）旨在从嘈杂的伪标签中提取和过滤更准确的显着性提示。然后，来自多个DF的多个精确的线索随着多引导损耗同时传播到显着网络。在四个度量标准的五个数据集上进行了广泛的实验表明我们的方法优于所有现有的基础方法。此外，还值得注意的是，我们的框架足够灵活，适用于现有方法并提高其性能。
translated by 谷歌翻译
我们呈现协调的近端策略优化（COPPO），该算法将原始近端策略优化（PPO）扩展到多功能代理设置。关键的想法在于多个代理之间的策略更新过程中的步骤大小的协调适应。当优化理论上接地的联合目标时，我们证明了政策改进的单调性，并基于一组近似推导了简化的优化目标。然后，我们解释了Coppo中的这种目标可以在代理商之间实现动态信用分配，从而减轻了代理政策的同时更新期间的高方差问题。最后，我们证明COPPO优于几种强大的基线，并且在典型的多代理设置下，包括最新的多代理PPO方法（即MAPPO），包括合作矩阵游戏和星际争霸II微管理任务。
translated by 谷歌翻译
Recent deep learning models are difficult to train using a large batch size, because commodity machines may not have enough memory to accommodate both the model and a large data batch size. The batch size is one of the hyper-parameters used in the training model, and it is dependent on and is limited by the target machine memory capacity because the batch size can only fit into the remaining memory after the model is uploaded. Moreover, the data item size is also an important factor because if each data item size is larger then the batch size that can fit into the remaining memory becomes smaller. This paper proposes a framework called Micro-Batch Streaming (MBS) to address this problem. This method helps deep learning models to train by providing a batch streaming method that splits a batch into a size that can fit in the remaining memory and streams them sequentially. A loss normalization algorithm based on the gradient accumulation is used to maintain the performance. The purpose of our method is to allow deep learning models to train using larger batch sizes that exceed the memory capacity of a system without increasing the memory size or using multiple devices (GPUs).
translated by 谷歌翻译